云计算的全球变局与中国故事
在这篇对云计算发展历史的盘点文章中,我们采访了华为云首席产品官方国伟,亚马逊云科技首席架构师费良宏,中国信息通信研究院云计算与大数据研究所云计算部主任马飞,阿里云弹性计算负责人张献涛(按姓氏首字母排序)等多位云计算领域的资深技术专家。
他们大多是在云计算发展的早期就进入了这个行业,一路见证了云计算从起势到蓬勃发展的浪潮。我们希望从亲历者的视角,回顾和总结云计算技术过去这十几年的发展与变迁。
特此感谢 4 位专家对本文的贡献。他们的真知灼见,是本文能与大家见面的关键。
自 2006 年云计算开始在全球萌芽,它已经走过了 16 年的发展之路。
我们试图总结云计算在过去 16 年来的发展历程,它到底走过了一条什么样的道路?在每个不同的发展阶段,又创造了什么?
关于云计算发展史的每个时间段如何划分,这其实是一个见仁见智的问题。InfoQ 采访的多位专家的划分方法也各有不同,但针对云计算在每个发展阶段所呈现出来的特征,大家的观察并无二致。
因此在本文中,我们暂且引述一种划分方法来简述云计算的历史。
中国信通院云计算与大数据研究所云计算部主任马飞认为,自 2006 年以来,云计算经历了四个发展阶段。具体而言:
2006 年 — 2010 年,云计算的形成期
云计算并不是一个新鲜的概念。早在 1961 年,人工智能之父 John McCarthy 第一次提出了“公共计算服务”的概念,这是云计算的思想雏形。
但直到 2006 年,亚马逊 AWS 发布了 S3 和 EC2 后,才正式拉开了云计算的大幕。2008 年,谷歌推出了自己的云业务 Google App Engine;同年微软发布了其云计算战略和平台 Windows Azure Platform。
2009 年,阿里云成立,成为国内最早布局云计算的企业。2010 年,华为正式公布云计算战略,同年,腾讯在内部立项研究云计算...
如今在全球云市场叱咤风云的巨头厂商大都在这个时期入局,并相继推出云计算产品和解决方案。
2010 年 — 2015 年,云计算的发展期。
在这一阶段,云计算逐渐形成统一的、共识的定义。马飞还记得,早年他写博士论文时,云计算有 40 多种流行概念,关于这项技术到底是什么,说法不一。
2011 年,美国国家标准技术研究院(NIST)发布了《SP500-291 云计算标准路线图》,其提出的云计算的定义和路线图广受认可,这也是目前最权威的云计算定义。
此外,云技术创新活跃,各家厂商陆续推出云产品,推动云计算市场快速发展。
2015 年 — 2020 年,云计算的应用期。
在这一阶段,云市场上,各种产品、解决方案和服务层出不穷,呈现“百花齐放”的发展态势。
与此同时,无论在国内,还是国外,云计算开始在政务、金融、电商、交通、医疗等众多行业推出相关应用,企业上云进程加速,云计算逐渐渗透各行各业。
2020 年 — 2025 年 /2030 年,云计算逐渐进入成熟期。
如今,云计算的发展已进入深水区。
一方面,底层技术的成熟令其能够很好地支撑上层的各种应用。另一方面,企业走过“上云”、“用云”的阶段后,还要考虑如何“用好云”,在即将到来的数字经济时代,云计算将成为企业数字化转型的关键实现路径。
整体来看,这 16 年间,云计算走过了一段波澜不惊的历史,它没有像很多产业那样出现大的起伏和波折。从萌芽到平稳发展,再到步入高速发展阶段,尽管现阶段增速有所放缓,但前景依旧光明。
走过蓬勃发展的 16 年,接下来,我们还将乘着云计算的浪潮一路向前。
十几年来,在全球的云计算市场格局中,科技巨头几乎一骑绝尘。
在全球云计算的发展史册上,亚马逊是必不能被绕过的一页。
2006 年,亚马逊率先发布了第一个云服务平台 Amazon S3。几个月后,亚马逊 AWS 公开发布了 EC2 虚拟机服务,这是云计算发展史上的一个里程碑式的事件,引领了后来十多年信息技术的革命。
云计算甫一出现,很快便吸引了全球 IT 产业巨头的目光。在早期,几乎所有后来入局这个市场的玩家都在对标走在最前面的亚马逊,推出自己的云计算产品。
为什么是这个时间点,云计算开始萌芽?为什么是亚马逊,成了第一个“吃螃蟹的人”?
亚马逊云科技首席架构师费良宏在接受 InfoQ 采访时表示,云计算的诞生与互联网的发展密切相关,2006 年前后,互联网产业高速发展,由此带来了数据井喷式地增长,这促使业界开始探索解决数据在存储、计算、管理等方面遇到的各种挑战。此外,当时 Hadoop、WebService 等大量技术框架和工具,几乎在同一时间推出或日渐成熟,这些技术的发展成为促进云计算萌芽的重要因素。
而亚马逊之所以快人一步,先于其他科技公司推出云计算,主要得益于其在运营模式与运营经验上的积累。
“云计算本质上是一种运营能力,包括定价、交付、产品设计等能力。在 2006 年之前的十几年里,基于其核心的电子商务业务的发展,亚马逊积累了丰富的互联网平台服务运营的经验,这也为后来构建云计算平台提供了技术储备”,费良宏表示。
凭借巨大的先发优势,十几年来,亚马逊一度领跑全球。至今,亚马逊仍在全球云计算市场占据难以撼动的地位。IDC 的调研显示,2021 年,全球 IaaS 市场排前三名的厂商是亚马逊、微软和阿里云,分别占据 47.4%,14.3% 和 7.4% 的市场份额。
中国的云计算,最先出现在阿里巴巴,而非同期的其他科技企业。各中原因与亚马逊类似,阿里的电商基因在一定程度上促进了云技术的萌生。
阿里云弹性计算负责人张献涛向 InfoQ 表示,本世纪初,互联网浪潮席卷之下,以电商为代表的互联网业务随着规模膨胀,在采用传统 IT 技术支撑业务时弊端凸显,在性能、成本、稳定性等方面都遇到了巨大挑战。为了更好支撑业务发展,传统 IT 技术亟待变革。
2006-2008 年,淘宝商城的业务突然出现了“核弹级”的爆发,这令旧的 IT 体系濒临崩溃边缘。为了解决电商业务存在的技术瓶颈问题,2009 年,王坚带领团队创立了阿里云。
那时在国内,云计算还处在概念推广阶段,大家普遍对云不了解,对这一新事物感到“云里雾里”,就连当时国内最顶级的互联网公司的创始人也对云计算存在很大的认知差异。
一场 12 年前的对话后来经常被人翻出来讨论。那是在 2010 年的中国 IT 领袖峰会现场,马云、马化腾、李彦宏分别就云计算发表了自己的看法。当时,马化腾认为,云计算可能像阿凡达那样遥远,可能得过几百年、一千年后才实现。李彦宏则不客气地说,云计算是新瓶装旧酒,没有新东西。马云则撂下一句狠话 — “如果我们不做云计算,将来会死掉”。
有趣的是,当时这三位创始人的认知基本上反映了,后来这三家公司在云上的发展战略,以及发展情况。
在中国云计算发展的早期,认知差异、较国外云厂商起步晚、国内企业 IT 水平落后、云计算研发技术门槛高等多重因素,导致国内云厂商一开始在技术、产品、服务上,与亚马逊等海外云厂商存在不小的差距,例如亚马逊的对象存储、VPC 等都是设计典范,2012 年,亚马逊推出了性能表现优异的 NoSQL 数据库 DynamoDB,这类产品在国内晚了好几年才出现。
不过在看清楚云计算的方向后,国内几家头部科技公司以最快的速度补上了“课”,并且每年都推出一系列的大动作,持续加码云计算。
现今,云已经成为国内互联网巨头的管理者们最常挂在嘴边的词汇。2017 年,马化腾在给合作伙伴的一封信中,23 次提到云。同年,在华为全球分析师大会上,华为企业 BG 总裁徐文伟宣布“未来全球五朵云,华为必居其一”,3 年后,这一“Flag”成为了现实。
经过这些年的发展,中国的云计算势力正在快速崛起。
阿里、华为、腾讯、百度这“四朵云”是中国云服务企业的代表,占据了 80% 的中国云计算市场。数据显示,2021 年中国云服务市场份额中,这“四朵云”的市场占比分别为 37%、18%、16%、9% 。
与此同时,国内云厂商正在走向全球,与海外云巨头正面交锋。
阿里、腾讯、UCloud 等厂商展开了全球化布局,现在国内很多出海的企业,在海外可以享受到国内云厂商提供的服务。此外在北美、欧洲等海外市场,国内云厂商也正在与 AWS、微软等展开角逐。
“中国的云厂商刚起步时基础较差,一路实现跨越式发展,到现在能逐步走出去跟海外的云巨头们‘掰掰手腕’。这充分反映出中国云计算在过去 13 年里的快速发展。”马飞说道。
不过,现阶段中国云计算的发展,与国外尤其是美国相比,还存在一些差距。
从市场规模上看,据 Gartner 和中国信通院统计,2021 年美国云计算市场规模接近 1800 亿美元;中国云计算市场规模 453 亿美元,约为美国的四分之一。从细分领域看,美国 SaaS 规模占比更高,而中国 IaaS 规模占比更高。
在上云率方面,相关统计显示,美国企业上云率已达到 85% 以上,而国内企业的上云率仅约为 30%,在一些传统行业,这一数字可能更低。大约从 2017 年 — 2018 年起,海外云计算市场发展进入到一个较为黄金的时期,政企上云越来越普遍,在国外,很多企业是“all in cloud”,开始逐步放弃线下数据中心,直接在云上构建。
而现在,中国企业上云才渐渐从互联网行业向传统行业渗透。伴随着很多行业尤其是传统企业数字化转型的进程加速,政企上云将成为一个重要的发展趋势。近几年,国内云厂商竞争的主阵地,也逐渐从互联网赛道转向政企。
政企业务起家的基因令华为在政务云市场占据优势。华为云首席产品官方国伟在接受 InfoQ 采访时表示,现阶段,国内云计算市场发展的一个焦点问题在于,政企上云的格局没打开,政企上云目前还存在不少限制。
“如果这一市场没打开,云计算就很难发展起来。因为云的本质是要全面替换传统 IT,而互联网 IT 只占整个 IT 市场的一小部分。现在在国内互联网市场,需要上云、能上云的企业差不多都上了,接下来,政企上云将是中国云计算发展的关键”。
政企的上云率也关系着云厂商的营收结构。方国伟认为,当政企上公有云的市场打开之后,云厂商的收入结构组成将逐渐演变为 — 大部分收入来自政企,来自互联网的收入占小部分。
不久前,国内云计算市场又迎来一个里程碑事件。
5 月 26 日,阿里云发布的 2022 财年及第四季度财报显示,2022 财年,阿里云 EBITA 利润从 2021 财年的亏损 22.51 亿元大幅改善为盈利 11.46 亿元。这是阿里云成立 13 年来以来首次年度盈利。阿里云也由此成为国内唯一实现盈亏平衡的云服务商。
谈到此次盈利的原因,张献涛向 InfoQ 表示,云计算在规模达到一定程度时,经营运营效率变得非常关键。在过去的几年里,阿里云通过投入资源提升经营运营水平,做到了降本增效。
阿里云“13 年磨一剑”终于盈利,云计算的商业化与盈利问题再次引发关注。
事实上,云计算的盈利一直是一个难题,亏损现象普遍存在。
在全球的云计算玩家中,实现盈利者寥寥无几。除阿里云外,因其先发优势以及在价格控制方面的优势,亚马逊是少数实现盈利的公有云厂商。2022 财年,微软的智能云业务表现强劲,营收 191 亿美元,同比增长 26%。其他厂商大都有不同程度的亏损,例如谷歌云在独立之后仍没赚到钱。2021 年,谷歌云将其云服务器的运行寿命从三年延长到了四年,尽管如此,谷歌云在该年度仍亏损 31 亿美元。
“云计算业务,就像是一场马拉松”。方国伟认为,云计算的盈利困局,主要由两个原因导致:
一是云厂商需要进行大量基础设施投入,包括数据中心、IT 硬件设备(服务器、存储、网络等)。云计算可以把客户的 CAPEX 模式转变成 OPEX,但对云计算厂商来说仍需要投入 CAPEX。而且只有大量投入,才能有规模效应。如果前期只投入一个小的数据中心、几台服务器,后来随着业务增长,必然不够用。而采用“东一块、西一块”的租赁模式也比较受限,因此云厂商通常需要自己大规模建设数据中心。
另一方面,云业务前期研发投入巨大。云本质上要把传统 IT 重新替换,这就意味着,云平台最好能提供计算、存储、网络、数据库、中间件、大数据、AI 等一站式服务。因为云用户一般很少像在传统 IT 那样从不同厂商分别购买服务器、存储、数据库软件等。
而收入的增长是有节奏的,只有业务量慢慢上来,客户慢慢开始用,品牌慢慢构建.... 如此,云才能实现盈利, 这些都需要很长的周期,这就决定了,云平台不可能在短期盈利。
“如果要布局云业务,就要做好思想准备,这项业务投入大,见效慢,但一旦做成了,利润非常高,亚马逊就是个标杆例子”,方国伟表示,“我相信国内头部云厂商未来都可以实现盈利,而政企市场将是制约国内云厂商能否盈利的关键”。
在云计算快速发展的 16 年里,新技术不断涌现。很多在当年初露峥嵘的技术,如今已经不断进步,发展趋向成熟,并已有广泛地落地应用。四位技术专家向 InfoQ 讲述了他们所亲历的那些云技术创新。
云虚拟机,是在云端虚拟出的服务器。近年来,虚拟机的发展呈现出的趋势是 — 越来越轻量级,越来越敏捷,越来越快速迭代。
最开始的虚拟机十分笨重,一旦“搬家”,就得“连根拔起”,例如将一台虚拟机从 A 云迁到 B 云,需要几个 G 带宽,下载一次得花几个小时。后来到了容器阶段,容器就像“集装箱”一样,在缩小规模的同时,整合运行环境,减轻了对底层的依赖。再发展到无服务器阶段,开发变得更容易了,无服务器具有易开发、易部署、易维护的优点,甚至不需要运维,直接集成在微信小程序这种环境就可以了。
本质上讲,云计算是算力的服务化,是通过虚拟化的技术把算力进行池化,进而做多租户间的弹性调度分配。因此,云计算的发展史,其实也是虚拟化技术的演进史,是虚拟化技术的不断发展和演进让云在不同的发展阶段能够满足业务的进阶需求。
在早期,云计算公司面对的是企业网站托管类的中小型算力需求,对于业务的连续性、实时性以及稳定性要求都比较低。这个时期对虚拟化技术的性能、功能和安全性要求也较低,纯软件技术实现的虚拟化就可以满足业务的需求,在这个阶段以 Xen 为代表的软件虚拟化技术取得了较大突破,也得到了业界认可。
而后来,云计算开始更多地服务企业的中大型算力需求,尤其在面对对实时性、稳定性有苛刻要求的在线业务时,纯软件实现的虚拟化技术就显得捉襟见肘了。这就迫切需要在硬件层面以及系统软件层面对虚拟化技术进行重构。于是,当时诞生了诸如 Intel 的硬件虚拟化 VT 以及配套的轻量级虚拟化技术 KVM,通过二者有效配合,解决了业务在稳定性、实时性等方面的需求。
随着云计算规模扩大,超大型企业的业务上云也随之而来,客户在成本、性能及安全性方面的需求逐渐凸显。这时,就需要有更具突破性的技术出现。2017 年前后,以华为云擎天、阿里云神龙和 AWS Nitro 为代表的新一代软硬件协同的虚拟化技术出现后,引领了云计算核心技术的发展方向,也诞生了如 DPU 这样的新型数据中心芯片。
整体而言,计算虚拟化经历了纯软件的虚拟化技术实现到硬件服务的虚拟化技术,以及到现在的软硬一体优化的阶段,整个虚拟化性能损耗从 30% 左右降低到了今天接近于零,其计算效率的提升也为云计算的普及打下了基础。在网络虚拟化技术方面,从早期的使用 ACL 等做隔离的经典网络模式也演进到了今天的 VPC,让客户的业务网络不仅隔离性更强,更能根据自己的业务需求做自由灵活的组网,大大提升了业务效率。
发展到今天,计算 / 存储 / 网络出现了一个全新的趋势 —— 为云计算而设计的计算 / 存储 / 网络。
以虚拟机为例,以往的 Xen、KVM 等技术,都是从原有的操作系统或虚拟化技术中脱胎而成。但随着云计算的普及和规模壮大,对虚拟化技术提出了更高的要求,需要将 CPU 卸载到一些特定的专用硬件设备中去,并要求虚拟化技术在管理、观测性、性能等方面表现符合预期。这时,原有的技术与新的需求间出现了脱节,这一演变要求,无论是计算、存储还是网络都需要重新设计和实施。
“原先把一个标准化的技术拿来,简单包装投入到云环境中的时代已经一去不复返了。现在,一个普遍的趋势是,几乎每家云厂商都开始打造符合自己规范和要求的、自我定义的云原生的计算 / 存储 / 网络产品。”费良宏表示。
具体在存储方面,一个明显的趋势是,存储越来越分布式化。最开始的存储是 DAS 架构,即开放系统的直连式存储,业务和数据是独立的存储方式。后来演进到 NAS(网络附属存储),其特点是,通过网络的方式解决不同磁盘间的访问问题。之后又演进到 SDS,即软件定义的存储,软件“绑定”存储,软件和硬件分离,有不同的接口、形态、采集方式。
软件定义硬件在今天看来是非常正向的轨道。硬件厂商天然与云的用户有一层隔离,因此最可能发生硬件创新的地方就是云厂商的数据中心内部。
随着数据密集型计算场景的普及,用户对低时延、高带宽的需求也越来越高,传统以 CPU 为中心的计算体系架构无法适应这一趋势,这一局面亟待改变。阿里云刚刚发布的云数据中心处理器 CIPU,可以看作是解决这一问题的尝试。将计算、存储、网络与云的管控解耦,用专用处理器来处理这些事务,让 CPU、硬盘、内存更专注在自身的计算处理上,这一创新有望改变以 CPU 为核心的云计算架构体系。
在微服务的发展过程中,有一个现在大家谈论较少却很重要的节点,2019 年 10 月,微软开源微服务框架 Dapr,并发布 0.1.0 版本。尽管其问世时间短,市场上应用不多,但它提供了一个新的思路,可以在相对更抽象的层次上构建微服务,它隐藏了那些复杂的网络、控制代理等管理,未来或许会成为微服务发展的一个新起点。
近年来,微服务架构炙手可热,逐渐普及,许多企业纷纷抛弃传统研发模式,拥抱微服务。来自中国信通院的数据显示,2021 年,有 54% 的企业已经使用微服务架构进行应用系统开发,这一数字比两年前(28.9%)翻了一番。
不过,微服务在产业应用的过程中也面临诸多挑战,如分布式架构在拆解时会涉及到代码复杂度、运维复杂度提升等问题。
微服务的理论体系并不完备,它更多是一种工程化的思维,是工程人员在实践中积累的心得。尽管此前有很多实践积累,但在不同的企业、团队、项目里,微服务被采用的路径、手段、方法等存在巨大差异。
针对这一应用现状,未来可能会出现一种高度产品化的平台改变现有的“分裂”局面。这几年无服务器快速普及,让微服务的部署管理应用变得更简洁。容器技术的发展也为微服务带来了新的可能性,尤其是 Kubernetes 的出现,强化了微服务的实现路径,基于 Kubernetes 实现微服务,已是目前非常明确的发展方向。如今,微服务和容器的结合成为了主流。
从技术研发的趋势看,微服务架构未来需要关注如何将业务逻辑和基础设施进一步解耦,尤其是将中间件的能力做下沉,让通信协议更好地以进程级别调用中间件能力,使应用和中间件互不影响。
2014 年,Kubernetes 的诞生,是容器技术发展过程的一个重要节点。
如今 7 年过去,Kubernetes“一家独大”,成为业内的主流标准。几乎每一个平台都把支持和部署 Kubernetes 作为基础设施重心,尤其在 BAT、TMD 等大厂,Kubernetes 更是成为标配。
“未来,它还将持续影响整个行业。甚至,有人试图用 Kubernetes‘抹平’所有平台之间的差异,构建一个于 Kubernetes 之上的、独立的云平台,未来这一设想或许有望达成”,费良宏判断。
Kubernetes 正在完全云化,是第二个重要节点。自它出现之后,微软、谷歌、亚马逊、阿里巴巴等云厂商都全面推出了托管 Kubernetes 的服务,这是一个重要的标志,标志着 Kubernetes 与云的全面结合。
在应用层面,容器的应用率在不断提升。中国信通院《云计算发展白皮书(2020 年)》显示,43.9 % 的企业表示已经使用容器技术部署业务应用,计划使用容器技术部署业务应用的企业占 40.8%。在企业数字化转型的进程中,容器技术因其灵活、敏捷的特性备受欢迎,很好地发挥了云计算的优势。
容器技术已经踏入成熟期。如何提升容器的安全性是当下该技术在应用过程中的一个难点。因为虚拟机的隔离性较强,容器的隔离性较差,这让提高容器的安全性富有挑战。此外,当容器在不同的环境应用时,还应该着重考虑如何提升效率、管理、优化成本等问题。
接下来,多云和跨平台的容器技术将是一个发展重点。面对多云平台,使用容器技术解决平台间的差异性很重要,如果自行开发框架,对选择多云有很大的障碍,且在后续维护中成本很高,如果有多云的容器管理平台出现,将在很大程度上减少使用者的难度和障碍。
容器的形态也将不断演进。未来将会看到,越来越多的像边缘容器、分布式容器、多级容器等不同的容器形态出现。
服务网格是在微服务架构里孕育而生的一个理念,其旨在解决不同的微服务间的通信问题。
尤其在大规模的微服务部署应用中,没有服务网格,简直难以想象。当容器与微服务结合之后,怎么进行更有效的管理就成为不得不关注的痛点问题。当微服务数量较少时,现有的管理方式足以应对,这一问题可能并不明显,但当微服务增加到成百上千、甚至上万的规模后,管理难度就会大大增加。服务网格的出现,就为这个问题提供了一种很好的解决方案。
服务网格概念最早从 2017 年被提出,2018 年正式爆发,进入服务网格技术元年,之后随着众多云厂商纷纷入局,服务网格逐渐火了起来。
Istio 和 Linkerd 是最前沿的两个服务网格开源项目,但从目前的技术实现手段看,这些产品目前还不是特别成熟,还存在成本过高、代价过大的问题,尽管可以解决一些问题,但略显“笨重”。
此外,现有的很多服务网格产品仅仅聚焦在网络层次上,如果从理想化的微服务体系看,还略有不足。从这个角度看,服务网格还有很大的改进空间,未来或许将有在技术上更为进步的服务网格出现,才能和容器、微服务结合地更紧密,才能对微服务的大规模部署应用产生更直接的影响。
服务网格技术最早起源于 Google、IBM、Twitter 等大型互联网公司,因此该技术的早期落地也多在互联网公司。因为互联网大厂在技术实力和技术团队等方面优势巨大,目前,服务网格仍主要是大厂在做,中小型互联网公司、传统企业等对服务网格还对其望而却步,不过目前也有一些中小型互联网公司开始试水服务网格。
接下来,服务网格需要重点关注数据面性能的优化问题,如通过代理方式或引入可观测工具,更好地监测整个控制面或数据面的性能,增强服务网格对异构资源的兼容性。此外,如何与不同的服务架构打通,形成一个有效的通信机制和能力,也是一个关注重点。
Serverless 首次出现于 2012 年,中文即“无服务器架构”。近两年,Serverless 概念迅速蹿红,例如现在很火的微信小程序就是 Serverless 的一个典型应用。Serverless 的优点是,开发者无需关注底层资源,便可以快速地开发和投入应用。
去年,CNCF 发布的《2020 年度中国云原生调查报告》显示,Serverless 架构正在持续增长,31% 的企业在生产中使用无服务器,41% 的企业正在评估,12% 的企业计划在未来 12 个月使用。
Serverless 对云的产品能力提出了更高的要求,代表着云的产品体系发展的新方向,目前来看,这一趋势已不可阻挡。
现阶段的挑战主要在技术研发方面,开发出一个真正意义上的 Serverless 仍非常之难,因为,Serverless 的服务本身需要技术管理,动态调整或资源配给的难度较高。未来,如果这一问题得以解决,会是一个令用户感到惊喜的改变。
未来,Serverless 这种服务的形态、应用场景会越来越丰富,跟云上生态的结合和链接将越来越紧密,让用户真正聚焦在云上的上层应用,进一步解耦。同时,Serverless 将更多聚焦在计算方面,未来像数据库、消息队列、存储等后端的服务都将 Serverless 化。
在过去七八年间,可以清晰地看到,弹性计算的应用需求和应用规模都在发生着剧烈的变化:
从早期的服务中小站长的网站托管需求,到中大型企业的部分实时在线任务处理的需求,到现在超大规模企业离在线业务的整体搬站上云和异地多活架构容灾部署,对弹性计算的资源弹性、稳定性、成本以及可运维性都提出了极为苛刻的需求。
经过 10 多年的发展,弹性计算进入一个稳态阶段。如何在业务形态、产品定义以及技术研发方面形成创新和突破势在必行。有观点认为,在这个阶段,IaaS 层的产品创新变得比较艰难。
2013 年,Pivotal 公司的马特·史汀首次提出了云原生概念。2015 年,CNCF 对云原生做出了定义,包括 3 个方面:应用容器化、面向微服务架构、应用支持容器的编排调度。2018 年,CNCF 更新了云原生的定义—“云原生的代表技术包括容器、服务网格、微服务、不可变基础设施和声明式 API”。
不过直到现在,关于云原生到底是什么,仍众说纷纭。云原生还没有一个标准的、统一的定义。
现阶段,市场对云原生的解读相对模糊,甚至有些混乱,既有广义的云原生,即与云计算直接相关的技术,就都可以称之为云原生。也有狭义的云原生,即认为,应用上微服务、容器、K8s 服务等相关技术,都可以被定义为云原生。
方国伟认为,目前国内总体上对云原生的理解偏狭义化。是否使用了容器、微服务、Kubernetes 等技术并不是判断云原生的关键标准。云原生的本意应该是,应用或服务从一开始基于云平台设计和构建,而非迁移上去的,即“生于云,长于云”。
云计算的快速普及和大规模应用,促进了云原生的爆发。火热的数字化转型浪潮,也在一定程度上令云原生技术的关注度剧增。
2019 年,被认为是云原生商业化落地的元年。自 2019 年开始,云原生,进入了大爆发时期。
一个明显的趋势是,以往云主要应用在以互联网业务为主导的企业中。即便在传统企业,它的应用也仅限于那些与互联网直接相关的业务领域。在 2019 年之后,云的应用场景已经大规模地进入到传统 IT 行业,不仅被应用到核心业务中,甚至在一些非互联网相关的场景如 ERP 等,都开始大量应用云原生的技术。
尽管进入了加速落地期,云原生的全面落地仍是一个任重道远的过程。
极为复杂的技术栈阻碍着云原生实现规模化落地,尤其制约着云原生向传统行业渗透的速度和广度。
在技术之外,云服务能力也是落地难点之一。目前在国内市场,云服务是推动云原生普及的重要因素,云服务不仅指产品服务,还指人的服务。云产品技术复杂度高,难以被用户直接使用,因此就需要有专门的服务团队帮助企业实施和部署云原生。未来,云服务的能力将成为云原生落地的重要筹码,也是云平台竞争的差异化手段。
另一个很难的课题是,云原生在应用之前,需要先做改造。与新应用相比,老应用 /(系统)实现云原生挑战重重。尤其在国内,很多政企的应用程序并不是自己开发的,如果要实现云原生,得先经过改造,有些应用可能要重构,得先按照微服务进行改造,而非简单的“搬迁”。改造过程中,关于云原生如何与企业业务相结合,企业通常要做各种权衡,这也直接导致,改造通常需要很长的周期。
云原生架构规模化应用后出现的安全、性能和可靠性问题是目前很多企业在上云方面的主要顾虑。针对这一问题,一种解决方案是提升平台的安全能力。未来,云安全产品和云产品将出现融合趋势,每个产品都应包含必要的安全能力,而不应将安全从软件中剥离,只由专业人士负责。安全应该与所有的软件和服务融合在一起,也就是,从软件开发之初,就要将安全设计纳入到产品设计的标准步骤中。
目前,市场上已有一些针对细分领域的安全产品出现,例如针对容器安全的产品。不过,这些产品通常只解决部分问题,业内还缺乏解决全流程安全问题的产品。云原生是一个一体化的技术栈,因此需要全生命周期流程的安全解决方案。可以看到,已经有一些厂商推出了云原生应用平台保护的一体化解决方案,例如云原生应用保护平台(Cloud-Native Application Protection Platform, CNAPP)。
循着云计算的发展脉络,可以看到,一些技术演进的特点和趋势日渐明晰。把握云计算演进的内在规律, 有助于保持足够的技术敏锐度。方国伟向 InfoQ 分享了自己的观察,他认为,云计算在过去 16 年的演进过程中,逐渐显现出以下 9 大趋势。
当前,云厂商的「全栈式」发展,渐成趋势。
以前做云计算,主要购买 X86 服务器,加上采用分布式软件,来管理调配资源,并动态地分配资源给客户。在那一时期,服务器是标准的,云厂商主要专注在软件层对外提供服务。
现在,情形发生了变化。云厂商的规模越来越大,大的云厂商已经运营几百万服务器,且每年还需要采购数量庞大的服务器。因为客户并不直接接触底层硬件,所以采买标准的服务器不再是必须。到了一定规模后,云厂商可以自己设计硬件,从底层到上层,包括数据中心、芯片、板卡、服务器、交换机等都可以自己主导来做。
最近几年,这一趋势越来越明显了。
华为是最早开始设计 ARM 处理器的公司之一,从 2009 年开始推出基于 ARM 架构的智能手机处理器,2014 年发布第一代服务器端 ARM 芯片,2016 年推出第二代鲲鹏 916,2019 年推出第三代鲲鹏 920 处理器,是当时业界第一款基于 7nm 的数据中心处理器;2015 年,亚马逊收购了以色列芯片公司 Annapurna labs,并于 3 年后推出第一代 Amazon Graviton 处理器,去年 12 月,其最新通用服务器芯片 Graviton 3 问世;去年 10 月,阿里发布了首个基于 ARM 的通用服务器芯片倚天 710。
在服务器处理器之外,这三家公司也都推出了自研的软硬一体化的虚拟化技术架构 — 华为的擎天架构,阿里云的神龙架构,亚马逊的 Nitro... 此外因为 AI 处理器门槛相对低一些,现在大厂普遍自己研发,例如华为拥有昇腾处理器,谷歌自研了 TPU 芯片,去年亚马逊推出了其自研的 Trainium 第二代 AI 芯片..
对于云厂商来说,之所以纷纷自研芯片,主要出于两方面考虑,一是可以降低成本,自研芯片到足够规模后,其成本将远远低于采购芯片。其二,英特尔、AMD 等厂商出售的多是通用芯片,他们不擅长专用芯片,云厂商自研专用芯片可以更好地实现创新和更好的性能。
在原先已有的软件优势下,云厂商们正在追求“软硬协同”发展,越来越“全栈化”。目前来看,这一趋势是不可逆的。
从硬件的角度看,云厂商们纷纷向着软硬一体化趋势发展。而从软件的层面看,云平台在越做越「厚」。做厚是指在平台上提供各种各样的服务,服务越来越多,云计算的三层模式— IaaS 层、Pass 层、SaaS 层全产业链覆盖。
例如,亚马逊最初只做 IaaS 层,后来开始做 Pass 层,现在也逐渐开始做 SaaS 层;微软提供 IaaS-PaaS-SaaS 三种云服务模式,尤其在 SaaS 领域长期领跑全球;今年,华为提出了“一切皆服务”的新口号,包括基础设施即服务、技术即服务、经验即服务,提“IaaS+tPaaS+aPaaS”的完整技术能力架构。其中在经验即服务方面,华为会重点构建 aPaaS 和 SaaS 层的服务。
云平台越做越厚,源自云厂商多元化发展的需求。当企业发展到一定规模,尤其在单个领域逼近业务天花板时,企业天然有扩张业务的原始冲动。
而从 IaaS 层到 Pass 层,再 SaaS 层,对云厂商来说都是云服务,它们互相之间关联性强,只是层次不一样,这一多样化发展路径最为简单。
得益于良好的兼容性,各家云厂商最初大都从 IaaS 层开始切入。而 PaaS 门槛较高,开发应用难度大,初期 PaaS 发展较慢。近年来,PaaS 增速飞快,Gartner 曾预计,PaaS 市场在 2018 年到 2022 年期间市场规模将翻一番。
而如今随着 IaaS+ PaaS 逐渐发展成熟,以及该领域的竞争日趋胶着。现在云计算的风向正在发生变化,呈现从 IaaS、PaaS 往 aPaaS 和 SaaS 发展的趋势。最近三年,受疫情影响,协同办公、CRM 等 SaaS 产品的需求明显增加,云厂商在 SaaS 领域的投入和竞争也日趋激烈。
未来,云的硬件要更加异构。不似以前都是标准的硬件,现在强调,只要对外接口是标准的,里面的硬件不需要都得是标准硬件。现在云厂商有各种各样定制的硬件,处理器也将更加异构,未来这些硬件都可以根据需要使用,而不必再强调标准。
另一个趋势是,低代码、无代码逐渐流行,开发变得越来越简单。
当下,数字化转型浪潮亟需新的“IT”,但如果都要从头开发,不仅工作量大,而且面临开发人员不足的挑战,这就产生了降低开发门槛、简单开发的需求。低代码、无代码为这一问题提供了答案。
低代码、无代码可以让开发人员很快地根据自己的业务需求开发一些简单的应用,免去大部分重复性的代码编写工作,大幅降低开发门槛大幅,提升效率,也会进一步提升软件开发的质量。
现在,很多云厂商都在低代码、无代码方面做布局。比如华为推出了 APPCUBE(应用魔方),腾讯云在去年年初上线了微搭 WeDa 低代码平台,阿里钉钉自研了低代码应用搭建平台宜搭....
现在业内对低代码、无代码存在一些争议,有的观点认为,低代码平台只能解决一些简单的业务场景,而无法应对那些大规模复杂多变的业务场景。事实上,如果回到低代码平台设计的初衷来看这个问题,低代码本来也不打算解决复杂场景的问题,它也解决不了。因为越是简单的编程方式,灵活性越差,越往底层、灵活性越好。因此,低代码自动化高,就意味着灵活度差。
需要注意的是,低代码的发展对企业有一定要求,需要企业原有的 IT 发展到一定程度,这时应用上低代码平台后,才可以很快搭出应用。如果企业只是一张“白纸”,没有任何底层的业务系统,显然通过低代码平台无法凭空做出应用来,比如很多低代码基于数据库编程,要想快速编程,得先有数据库的表,否则无法使用。
现在看到的一个很重要的趋势是 — 数智融合,即数据与人工智能的结合将更加紧密。云厂商在云计算平台上实现数据和人工智能工具的融合,挖掘更多数据的价值。
人工智能的发展依赖数据,依赖机器学习、深度学习能力。因此,本质上,人工智能应该跟大数据集成的更为紧密。以前业内经常谈湖仓一体,数据湖与数据仓库融为一体。现在更进一步,在湖仓一体的基础上,把 AI 的能力加上去,便成了“数智融合”。将大数据、数据仓库、人工智能等融合后,使之变成更好的数据云的平台服务。以华为云为例,目前在华为云上已推出了融合了数据管理、AI 训练、推理、算法等一体的数据治理生产线和 AI 开发生产线的产品。
另一个现在越来越明显的趋势是,云计算正在从中心云向分布式云演进。
中心云,是云计算最初的模式,也是当下主流的云模式。但现在,越来越多的客户,要求云厂商提供分布式云。
Gartner 对分布式云作出的定义是,将公有云服务 (通常包括必要的硬件和软件) 分布到不同的物理位置(即边缘),而服务的所有权、运营、治理、更新和发展仍然由原始公有云提供商负责。
分布式云主要可以解决网络带宽问题和时延问题。带宽问题主要指带宽多少和成本问题,国内 BGP 带宽就相对较贵,而如果用本地的边缘就近接入,其成本就会大幅降低。此外,很多客户对时延有要求,但如果将这个业务放到中心云上面,云在数据中心,离客户的业务场景较远,无法解决时延问题。目前,很多客户的痛点是,因为时延无法满足,一些生产线的 IT 应用无法上云,而通过分布式云、边缘云的方式,就可以很好地解决时延问题。另外,分布式云在一些场景里面也能满足客户把数据和应用放在自己数据中心的诉求。
需要厘清的是,分布式云是云的自然延伸,而非下一代云计算。未来的云计算,仍将以中心云为主,这一点不会改变。因为云有几个很重要的特点 — 规模化、自动化、服务化,规模化只有在中心云才能实现。
分布式云,只是在某些不能用中心云或者中心云不满足要求的场景下,才被采用。分布式是中心云的补充,但未来不可能演变为以分布式云为主的模式。
从客户使用云的角度看,最明显的一个趋势是多云。
客户不希望“把所有鸡蛋都放在一个篮子里”。如果只用一个云厂商的服务,那么议价能力就会变弱。此外,客户还会考虑高可用的问题,因为如果只上一个云,无法实现高可用。理论上可以采用跨 Region 方式实现,但仍无法保证不出问题。
而如果使用两个云厂商或者多个云厂商的服务,同时出问题的概率就大大降低。因此,多云是提高“高可用”的一种方法。从供应链管理的角度看,有多个云厂商,也意味着供应链管理更可控。在早期,多云这一趋势并不明显,现在已经越来越明显了。
现在很多视频类内容大多通过手机或其他摄像头拍摄,未来,越来越多的视频将会在云上“生产”出来。云计算正在改变视频、媒体的生产流程。
特效制作目前被广泛应用在影视剧制作中,渲染是特效制作过程中最花时间的一个环节,而且大型电影的渲染过程是计算密集型的,需要大量的数据计算工作。而云将为影视剧拍摄,特效渲染等后期制作环节带来更多可能性。这一趋势,对云平台的算力要求、计算模式、渲染算法等都提出了新的要求。
方国伟是从 2008 年开始接触云计算的,当时微软推出了 Windows Azure Technical Preview。这一产品令他感到新奇的同时,也给他带来了一些观念上的启迪 —— 未来,云计算将对 IT 行业产生颠覆性「影响」。这也促使他,从此一头扎进了这个行业。
如今十几年过去,他看到,这种「影响」已成为现实。尤其从 2015 年之后,几乎所有传统 IT 公司的业务都被云计算所影响着,IT 领域的很多创新都在云上发生。现在,方国伟更加坚定地相信,终有一天,云计算必将全面取代传统 IT。
带着“全面取代 IT”的使命,接下来云计算仍将持续高歌猛进。
多位专家向 InfoQ 做出了这样的预判 —— 下一个十年,云计算将迎来黄金时代。
“在过去的十多年间,云计算在核心技术上取得了一定的突破,越来越多的企业也开始抛弃传统 IT 拥抱云计算。然而从当前的发展阶段看,云计算仍然处于初级阶段,在 IT 份额中仍只在 10 个百分点左右。不过,经过过去十多年的积累,云计算的产品和技术日臻成熟,云计算业务处于爆发式增长的前夜,非常看好它在未来十年的增长势头”,张献涛表示。
马飞认为,在如今全球数字经济的大背景下,云计算将成为数字化转型的重要底座。疫情也加速了企业上云的进程。在政策方面,新基建、东数西算等政策都将云计算放到了非常重要的位置。未来十年,在多方利好因素促成之下,云计算将迎来下一个黄金十年,进入一个普惠发展期。
(排名不分先后,按姓氏首字母排序)
方国伟,华为云首席产品官。曾任平安科技 CTO 兼总架构师,AWS 中国首席云技术顾问,微软全球服务部门云计算“卓越中心”(COE)团队资深架构师等。曾主编了《让云触手可及》、《详解 Winows Azure 云计算平台》和《企业云计算》三本图书,并在国内外的技术大会上发表过多次关于云计算的技术演讲。
费良宏,亚马逊云科技首席架构师。在过去的 20 多年一直从事软件架构、程序开发以及技术推广等领域的工作。经常在各类技术会议上发表演讲进行分享,他还是多个技术社区的热心参与者。擅长的领域包括 Web 应用、移动应用以及机器学习等的开发,也从事过多个大型软件项目的设计、开发与项目管理。目前专注与云计算以及互联网等相关技术领域,致力于帮助中国的开发者构建基于云计算的新一代的互联网应用。
马飞,博士,高级工程师,现任中国信息通信研究院云计算与大数据研究所云计算部主任、中国通信标准化协会云计算和标准开源推进委员会副主席、混合云产业推进联盟秘书长、云网产业推进方阵办公室主任、算力服务方阵副秘书长。长期从事云计算领域政府支撑、行业研究、标准制定、测试评估等工作,发表云计算相关论文 10 余篇,参与标准制定 20 余项。
张献涛 ,博士,阿里巴巴集团研究员、阿里云智能弹性计算产品线负责人;业界知名的云计算和虚拟化技术专家,加入阿里云后,主导了弹性计算产品和技术的演进工作,他的主要研究方向涉及信息安全,系统软件、芯片以及软硬协同设计;作为阿里云飞天神⻰架构发明者,推动了云数据中心 IaaS 核心技术的变革;在国内外发表多篇关于云计算和虚拟化的高质量学术论文,拥有近 30 项专利申请和授权。
开源正以前所未有的广度和深度影响着操作系统、数据库、云计算等 IT 基础设施以及虚拟化、容器、微服务、分布式存储、自动化运维等核心技术领域。
7 月 15-16 日 ArchSummit 全球架构师峰会将落地深圳,大会设置了「开源和自研选型思考」专题,本专题将邀请专家分享他们在选择开源和自研道路上,有哪些考量,以及具体的业务案例,点击阅读原文了解更多。
现在购买门票可享受 618 特惠活动,购票立减一折,充值还可享 7 折最低折扣,更多活动细节请扫码或咨询:18514549229(微信同电话)